Sách Đại Nam nhất thống chí cho biết vào thời Trần, huyện có tên là Cổ Dũng – lỵ sở đóng tại làng Cổ Dũng nằm ở phía nam.

Thời thuộc Minh, huyện bị chia đôi: phía nam Nham Biền, vẫn giữ tên Cổ Dũng, lỵ sở như cũ (nay là xóm Huyện, xã Tiến Dũng) còn phía bắc Nham Biền gọi là huyện Yên Ninh, lỵ sở đặt tại Nội Hoàng (nay là xóm Huyện, thôn Chiền).

Năm 1419, huyện Yên Ninh bị gộp vào Phượng Sơn, Long Nhỡn để thành huyện mới Phượng Nhỡn.

Thời Lê, phần đất thuộc Yên Ninh cũ sáp nhập trở lại với huyện Cổ Dũng thành huyện Yên Dũng, có 88 xã trại, lỵ sở đặt tại Như Thiết, sau đó chuyển tới Sen Hồ.

Huyện Yên Dũng từ thời Lê đến thời nhà Nguyễn thuộc phủ Lạng Giang, trấn Kinh Bắc, giáp giới với các huyện Yên Thế, Yên Việt, Bảo Lộc, Phượng Nhỡn, Quế Dương.

Cuối thế kỷ 19, Yên Dũng có 11 tổng: Ngọc Cục, Tự Lạn, Thiết Sơn, Dĩnh Sơn, Mật Ninh, Hoàng Mai, Mỹ Cầu, Phúc Tằng, Tư Mai, Cổ Dũng với 80 xã phường.

Dưới thời Pháp thuộc, sau khi lập tỉnh Bắc Giang (10-1895) Yên Dũng có các thay đổi về địa giới hành chính:

• Tổng Ngọc Cục chuyển sang huyện Yên Thế. Năm tổng: Đa Mai, Thiết Sơn, Mật Ninh, Dĩnh Sơn, Tự Lạn chuyển sang huyện Việt Yên. Tổng Phúc Tằng chia làm hai tổng Phúc Long và Phấn Sơn.
• Tổng Quang Biểu, Hương Tảo từ Việt Yên chuyển sang huyện Yên Dũng.

Các đơn vị hành chính trên tồn tại được khoảng 20 năm (1895-1914), sau đó lại tiếp tục thay đổi. Các xã Phúc Tằng, Điêu Liễn, Phúc Long, Thượng Phúc, Hùng Lãm chuyển sang tổng Hoàng Mai. Phường Á Lữ đưa sang tổng Thọ Xương huyện Phất Lộc. Xã Chuế Dương về tổng Quế Nham huyện Yên Thế. Xã Mỏ Thổ nhập vào tổng Thiết Sơn. Phường Tam Kỳ sang tổng Trí Yên, huyện Phượng Nhỡn. Lỵ sở vẫn đóng ở Sen Hồ.

Đến năm 1924, địa giới huyện Yên Dũng lại có sự xáo trộn lớn:

• Tổng Mỹ Cầu cùng Đa Mai nhập vào phủ Lạng Giang. Ba tổng Phúc Long, Hoàng Mai, Quang Biểu chuyển về Việt Yên.
• Bốn tổng Phấn Sơn, Tư Mai, Cổ Dũng, Hương Tảo ở lại huyện Yên Dũng với 32 xã, huyện lỵ chuyển về phố Chợ Neo thuộc tổng Tư Mai.

Sau Cách mạng tháng Tám, các tổng của Yên Dũng đổi thành liên xã hoặc xã mang tên mới. Trong khi cuộc kháng chiến chống Pháp đang diễn ra ác liệt, Tỉnh ủy Bắc Giang xét thấy sự cần thiết trong việc chỉ đạo thống nhất giữa khu du kích nam Lạng Giang với căn cứ du kích Yên Dũng, được Liên khu ủy Việt Bắc chấp thuận, ngày 6 tháng 9 năm 1952 đã ra Quyết nghị số 06/NQBB/BG sáp nhập 5 xã thuộc nam Lạng Giang (Tân Dân, Trí Yên, Thái Sơn, Dĩnh Kế, Lan Mẫu) và 2 xã thuộc nam Lục Ngạn (Bắc Lũng, Yên Sơn) vào huyện Yên Dũng. Cùng thời gian đó, 2 xã Chí Minh, Tân Mỹ sáp nhập trở lại huyện, đưa huyện Yên Dũng từ 9 xã ở tả ngạn sông Thương lên tới 16 xã ở cả hai bên sông.

Đến tháng 6 năm 1956, 16 xã kể trên chia thành 25 xã: chia xã Phấn Dũng thành 2 xã: Đồng Sơn, Tân Liễu, chia xã Mỹ Nội thành 2 xã: Nội Hoàng, Tiền Phong, chia xã Đồng Tiến thành 2 xã: Dũng Tiến, Đại Đồng, chia xã Đức Giang thành 2 xã: Tiến Dũng, Đức Sơn, chia xã Đồng Việt thành 2 xã: Đồng Việt, Việt Tiến, chia xã Trí Yên thành 2 xã: Trí Yên, Hồng Phong, chia xã Tân Dân thành 3 xã: An Đào Tràng, Tam Sơn, Xuân Phú, chia xã Dĩnh Kế thành 2 xã: Hùng Tiến, Tân Tiến.

Ngày 21 tháng 1 năm 1957, Thủ tướng Chính phủ ra Nghị định số 24-TTg chuyển 2 xã Yên Sơn, Bắc Lũng sang huyện Lục Nam mới thành lập.

Ngày 17 tháng 5 năm 1958, Bộ Nội vụ ra Quyết định số 172-NV. Theo đó, chia xã Lan Mẫu thành 3 xã: Lan Mẫu, Đại Lâm, Lão Hộ, chia xã Hùng Tiến thành 2 xã: Dĩnh Kế, Dĩnh Trì, chia xã Quang Trung thành 2 xã: Quang Trung, Nham Sơn, chia xã Thái Sơn thành 2 xã: Thái Sơn, Thái Đào. Huyện Yên Dũng có 28 xã trực thuộc.

Ngày 27 tháng 2 năm 1961, Thủ tướng Chính phủ ra Quyết định số 33/CP chuyển các xã Dĩnh Kế, Dĩnh Trì, Thái Đào, Đại Lâm về huyện Lạng Giang quản lý và chuyển xã Lan Mẫu về huyện Lục Nam quản lý.

Sau khi điều chỉnh, huyện Yên Dũng có 23 xã: Cảnh Thụy, Đồng Phúc, Đồng Sơn, Đồng Việt, Đức Giang, Lạc Gián, Lãng Sơn, Lão Hộ, Nham Sơn, Nội Hoàng, Quỳnh Sơn, Song Khê, Tân An, Tân Liễu, Tân Mỹ, Tân Tiến, Thắng Cương, Tiến Dũng, Tiền Phong, Trí Yên, Tư Mại, Xuân Phú, Yên Lư.

Ngày 22 tháng 2 năm 1975, đổi tên xã Lạc Gián thành xã Hương Gián.[1]

Ngày 29 tháng 8 năm 1994, thành lập thị trấn Neo, thị trấn huyện lỵ huyện Yên Dũng trên cơ sở 3 thôn: Tân An (xã Cảnh Thụy), Phấn Lôi (xã Nham Sơn), Bến Đám (xã Tân Liễu).

Ngày 12 tháng 7 năm 2007, thành lập thị trấn Tân Dân trên cơ sở điều chỉnh 494,34 ha diện tích tự nhiên và 5.448 nhân khẩu của xã Tân An.

Ngày 27 tháng 9 năm 2010, sáp nhập 4 xã: Đồng Sơn, Song Khê, Tân Mỹ, Tân Tiến vào thành phố Bắc Giang.

Ngày 21 tháng 11 năm 2019, sáp nhập thị trấn Neo và 2 xã: Nham Sơn, Thắng Cương thành thị trấn Nham Biền, sáp nhập thị trấn Tân Dân và xã Tân An thành thị trấn Tân An.[2]

Huyện Yên Dũng có 2 thị trấn và 16 xã như hiện nay.